Nat. Comm. 前沿：基于神经常微分方程的复杂动力系统最优控制

摘要

来自苏黎世联邦理工学院的研究者，在Nature Communications上的论文，指出可使用自学习的人工神经网络，解决动力系统的控制问题。利用数值和分析方法的结合， AI Pontryagin可通过自动学习，找出工程上可行的控制系统的方式。该方法可应用于智能电网的调控、供应链优化以及金融系统的稳定等众多场景。

研究领域：动力系统，神经常微分方程，系统控制

郭瑞东 | 作者

陈昊 | 审校

邓一雪 | 编辑

论文题目：

AI Pontryagin or how artificial neural networks learn to control dynamical systems

论文地址：

https://www.nature.com/articles/s41467-021-27590-0

1. 何为复杂系统的控制问题

电网断电、金融危机、供应链中断的相同之处，以动力学视角来看，就是用来描述对应动力系统的微分方程，使用现有方法，很难甚至无法得出一能使系统演化到预定点的解，这使得控制系统的走向变的很困难。要想理解该问题的难度，可以将自己看成是要经历乱纪元的三体人，和上述问题相似，三体人面对的问题本质上也是如何控制一个复杂系统的动力学演化。数学上来讲，一个动力系统如果能够在有限的时间内，由任何初始状态被导向任意的目标状态，则称该系统是可控的。

对于线性系统，基于控制矩阵（controllability  matrix）的秩，可以找出可控系统能得出解析解的条件。而基于巴拉巴西2011年的Nature论文[1]，可以将动力系统的控制问题，转换为网络中寻找二部图最大匹配的问题。得到的解会指出对系统进行控制的最小节点集合。

通过最小匹配，进行网络控制的示意图，来自：微信推文 如何驾驭你的关系网？这是个科学问题

然而对于包含诸多节点的复杂系统，该方法并有其局限，首先在于对于任意网络，找到控制系统所需的最小节点集合，是一个NP难问题（没有工程上可行的最优解）[2]；其次，控制系统的朝向特定方向的方式，可能是不可实现的[2]；且控制动作本身带来的影响，并没有被考虑[3]，这意味着单一的随时间变化的参数的改变，都会影响系统从可控变为不可控[4]，类似常说的蝴蝶效应。

找到控制策略后，如果控制所需调节的节点过多和频率过快，也是难以对系统进行有效控制的。因此，有效的控制，会试图最小化控制信号的强度和频率，从而减少控制所需的能量，或人际网络中，改变特定节点所需的资源。

苏联数学家Pontryagin提出了最优控制问题的经典解决方法——Pontryagin最大化原理，在状态或输入控件有限制条件的情况下，可以找到将动力系统由一个状态到另一个状态的最优控制信号。为了向Pontryagin致敬，新提出的神经网络模型被命名为AI Pontryagin。

2. AI Pontryagin的训练方式

用数学语言描述求解复杂系统的控制，第一步是将各类系统看成一个包含N个节点的系统，其演化可用微分方程描述。控制的目标是在时间T之内，使系统从初始状态达到特定状态，节点间的互动可通过描述，如f为 ，那么该系统中的互动就是线性的。控制过程所需的成本包含两部分，衡量控制效果的损失函数由两项组成：第一项为对各个时刻控制强度的积分，衡量了控制策略所需的成本；第二项为最终控制效果的好坏，即x(T)与控制目标x*之间的差距，衡量了控制策略的控制效果。

AI Pontryagin的训练过程，首先是在连续的时间轴上，给出离散点微分方程的近似解，当初始条件不同时，系统的演化会呈现不同状态。

之后的控制过程，改变部分系统中节点，根据控制成本函数（即改变后的状态和预期状态之间的均方误差），得到优化目标。之后通过多层神经网络，使用梯度下降，优化网络权重，从而训练出一个能够根据网络当前状态和控制变量，预测损失函数的神经网络。

AI Pontryagin 的运行方式，之后的训练过程，可以看成随时间展开的RNN。a 使用常微分方程表示未受控制的网络动力系统的示例。b 使用ANN对网络系统进行控制的基本要素。c 使用梯度下降法训练ANN完成控制任务。

为了验证AI Pontryagin的准确性，作者除了在线性系统之外，还在由Kuramoto 振子组成的二维晶格非线性系统中，使用AI Pontryagin让系统达到同步，且相比之前的方法，速度更快。

3. AI Pontryagin的应用

AI Pontryagin 是一个非常通用的控制框架，补充了现有的最优控制方法，并解决了高维和解析棘手的控制问题。它可以在没有关于待控制系统先验知识，也没有被提前告知理想的解决方案的前提下。对任意系统给出工程上可行的控制方案。这意味着其应用范围广泛，基于人工智能 (AI) 的控制系统可以帮助优化复杂的过程，也可以用于开发新的商业模式。

复杂系统中的波动能够触发级联反应。为了避免此类事故和提高弹性，系统专家设计了各种各样的控制机制和规章；典型的应用包括电网电压控制，金融机构的压力测试。然而，通过人工干预并不总是能够控制复杂的动力系统。基于机器学习的控制方法，可用于保护电网不受波动和停电、阻止流行病传播以及优化供应链等。

以供应链优化为例，具体阐述如何使用AI Pontryagin，首先必需提供关于目标系统动力学的信息。在供应链中，这可能包括可能的供应商数量，采购成本和周转时间。这些信息用于确定哪些领域需要动力学优化。还必须提供关于系统初始状态的信息，例如当前库存水平，以及期望的 (目标) 状态，例如需要将库存补充到某一水平，同时尽量减少资源的使用。之后自训练的神经网络，就可以给出要达到特定状态，所需的最少干预。

AI Pontryagin的出现，说明神经网络控制方法，在知道系统动力学、初始状态、目标状态这三个条件下，通过自学习控制部分未知系统的动力学。未来基于AI Pontryagin 的可能研究方向，包括以下三点，首先是应用其解决复杂的量子控制问题，以提高量子系统的鲁棒性；其次是探索其计算最优控制的能力，例如如何在级联故障期间保持发电机同步性，并最终避免停电；第三点是结合物理和生物学的先验知识，以完成复杂的控制任务。

参考文献：

[1] Liu, Y.-Y., Slotine, J.-J. & Barabási, A.-L. Controllability of complex networks. Nature

473, 167–173 (2011).

[2] Olshevsky, A. Minimal controllability problems. IEEE Trans. Control. Netw. Syst. 1, 249–258 (2014).

[3] Pasqualetti, F., Zampieri, S. & Bullo, F. Controllability metrics, limitations and algorithms for complex networks. IEEE Trans. Control. Netw. Syst. 1, 40–52 (2014).

[4]Cowan, N. J., Chastain, E. J., Vilhena, D. A., Freudenberg, J. S. & Bergstrom, C. T. Nodal dynamics, not degree distributions, determine the structural controllability of complex networks. PLoS ONE 7, e38398 (2012).

复杂科学最新论文

集智斑图顶刊论文速递栏目上线以来，持续收录来自Nature、Science等顶刊的最新论文，追踪复杂系统、网络科学、计算社会科学等领域的前沿进展。现在正式推出订阅功能，每周通过微信服务号「集智斑图」推送论文信息。扫描下方二维码即可一键订阅：

推荐阅读

点击“阅读原文”，追踪复杂科学顶刊论文